摘要。阿尔茨海默氏病(AD)是一种无法治愈的神经退行性疾病,导致认知和功能恶化。鉴于缺乏治愈,及时和精确的AD诊断至关重要,这是一个取决于多个因素和多模式数据的复杂过程。尽管已经做出了将多模式表示学习整合到医疗数据集中的成功努力,但对3D医学图像的关注很少。在本文中,我们提出了对比度的蒙版VIM AU-TOENCODER(CMVIM),这是针对3D多模式数据量身定制的第一种有效表示学习方法。我们提出的框架建立在蒙版的VIM自动编码器上,以学习3D医学图像中包含的统一的多模式代表和长依赖性。我们还引入了一个模式内对比度学习模块,以增强多模式VIM编码器的可容纳性,以建模相同模态中的判别特征,并提高模式间的对比度学习模块,以减轻模态之间的误匹配。我们的框架由两个主要步骤组成:1)将视觉MAMBA(VIM)纳入掩码自动编码器中,以有效地重建3D掩盖的多模式数据。2)将多模式表示与模式内和模式间方面的对比学习机制相结合。我们的框架已进行了预训练和验证的ADNI2数据集,并在下游任务上进行了广告分类验证。与其他状态方法相比,所提出的CMVIM可在2.7%的AUC性能提高。
主要关键词
![arxiv:2403.16520v1 [CS.CV] 2024年3月25日PDF文件第1页](/bimg/7/7b5153a7c5fcdd441e865198a448d304fbd071b4.webp)
![arxiv:2403.16520v1 [CS.CV] 2024年3月25日PDF文件第2页](/bimg/5/5f12641348b2dd7eb9e118c7a20a4687b32097d0.webp)
![arxiv:2403.16520v1 [CS.CV] 2024年3月25日PDF文件第3页](/bimg/b/bd0be08eb5bbebbdd191d6b55a4b733154399a80.webp)
![arxiv:2403.16520v1 [CS.CV] 2024年3月25日PDF文件第4页](/bimg/d/dcbb295c0d4029dc3fe775b59095355190a4ec6c.webp)
![arxiv:2403.16520v1 [CS.CV] 2024年3月25日PDF文件第5页](/bimg/7/7293e204bd90db9918a8efb720442e6208cd32a9.webp)
